CPE 332
Computer Engineering
Mathematics II
Part II, Chapter 4 Cont.: Statistical Average Chapter 5: Random Process
• HW 3 Due/ HW4 Due Next Week
• Expectation
• Joint Density
• Correlation/Covariance
• Random Process
• Stationary
• Ergodic
• Mapping ผลลัพธ์เป็นตัวเลข (One-to-
One) ดังนั้นผลการทดลองสามารถไป
คํานวณต่อได ้
– ที่สําคัญคือค่าเฉลี่ยทางสถิติ
• Mean
• Variance
• Etc.
– และกราฟแสดงคุณสมบัติ Probability
• Cumulative Distribution Function (CDF)
• Probability Density Function (PDF)
– เมื่อผลลัพธ์ของการทดลอง(Sample Space)ได ้ Infinite Set เรา
ได ้ Continuous Random Variable
– เมื่อผลลัพธ์เป็น Finite Set การกําหนดจะใช ้ Set ของตัวเลข
มักจะเป็น Integer เราได้ Discrete Random Variable
CDF:Cumulative Distribution
Function of RV X
FX(x)
1.0
F (10) = P[ X ≤ 10]
X
x
x = 10
CDF of Normal (Gaussian) Distribution: Continuous
CDF Properties
• ให ้ “หัว”= 0 และ “ก ้อย” = 1
F (x) = P(X ≤ x)
X
1.0
0.5
0
x
0
1
PDF: Probability Density
Function
f(x)
Area = ∫ f(x)dx = 1
x
PDF of Normal(Gaussian) Distribution : Continuous
Properties of PDF
– ค่าของ Variable ไม่ต่อเนื่อง
• RV X มีค่าเฉพาะที่ X=xi
– F(x) = P(X≤x)
• Function นี้มีความต่อเนื่องด ้านขวามือ
• นิยามสําหรับทุกจุดใน Domain ของ x
• Function เป็นลักษณะขั้นบรรได
• Monotonic Increasing Function จาก 0 ถึง 1
– f(xi) = P(X = xi)
• นิยามเฉพาะจุด ไม่ต่อเนื่อง ค่าเป็นศูนย์ระหว่างนั้น
• บางทีเรียก Probability Mass Function
• ∑f(xi)=1 เสมอ
f(x)
PMF
x
F(x)
CDF
x
Statistical Average
Discrete V
ersion :
E[ g( X )] = ∑ g( x ) p( x ) i
i
∀ x ∈ X
i
Importance Expectation
Discrete V
ersion :
N
1 N
[
E X ] = ∑ x p( x ) = ∑ x p( x ) = ∑ x | p( x ) 1
=
i
i
i
i
x
∀ ∈ X
i=
N
i
i
N
1
i 1
=
i
N
2
2
1
[
E X ] = ∑ x p( x )
2
=
∑ x | p( x ) 1
=
i
i
x
∀ ∈ X
N
i
i
N
i 1
=
i
2
σ = ∑( x − µ )2 p( x ) = [ 2
E X ] − [
E X ]
X
i
X
i
x
∀ ∈ X
i
– ในกรณีของ Data ที่ได ้จากการสุ่มตัวอย่าง เราได ้เฉพาะค่า
Estimate ของ Mean และ Mean Square เท่านั้น และ
From n
S
amples : p( x ) = 1 , Each sample h as the s
ame p
robabilit y
i
N
N
ˆ
µ = X = 1
x
X
N ∑ i
i =1
N
Estimate E[ X 2 ] = X 2 = 1
x 2
N ∑ i
i =1
2
σ = E[ X 2] − E[ X fr
] om e
stimation i
s bi
ased.
X
We u
se the l
east biased f
ormular :
1
2
2
N
2
SampleVari ance(Estim ated)
V
:
= s
=
( x
X )
X
N −
1
∑ −
N − 1
i
i =1
Multivariate: RV มากกว่า 1 ตัว
• จุดประสงค์ในการศึกษา RV มากกว่าหนึ่งตัว
พร ้อมๆกัน เพื่อจะหาความสัมพันธ์ระหว่าง RV
– แสดงโดยกราฟ Joint PDF
– หรือค่าเฉลี่ยทางสถิติ Correlation และ Covariance
• กรณีของ Bivariate
– เป็นการศึกษาความสัมพันธ์ระหว่าง RV สองตัว คือ X
และ Y แต่ละตัวอาจเป็น Discrete หรือ continuous
• เช่นความสัมพันธ์ระหว่างส่วนสูงและอายุ
• หรือความสัมพันธ์ระหว่างคะแนน Midterm และเกรดปลาย
เทอม
• หรือความสัมพันธ์ระหว่าง GPA กับเงินเดือนที่ได ้เมื่อจบ
การศึกษา
Multivariate: RV มากกว่า 1 ตัว
Multivariate: RV มากกว่า 1 ตัว
Joint CDF/Marginal
Density
Joint Moment
Correlation
• G(x,y) = XY
N
M
N
M
Discrete Version : R
= ∑∑ x y p( x , y ) = ∑∑ x y p( x ) p( y ) XY
i
j
i
j
i
j
i
j
i 1
= j 1
=
i 1
= j 1
=
N
M
N
M
1
1
= ∑ x p( x )∑ y p( y ) | independent = ∑ x
∑ y | p( x 1
) =
, p( y
1
) =
i
i
i
i
i
i
i
N
i
M
1
=
1
=
N
1
=
M
i
i
i
i 1
=
Covarience
Correlation and Covarience
Samples
• เราเก็บตัวอย่างเป็นคู่ (xi,yi) จํานวน N คู่
• Probability ของการได ้แต่ละตัวอย่างเท่ากัน คือ
1/N
• ดังนั้น
N
N
1
R
= E[ XY] =
x y P( x , y )
x y 1
( )
x y
XY
∑∑
=
i
j
i
j
∑
=
i
i
N
∑
i
i
1
N
i
j
i =
i =1
• และ
N
C
= E[( X − m ) Y
( − m )] = ∑( x − m )( y − m 1
)( )
XY
X
Y
i
X
i
Y
N
i=1
N
= 1 ∑( x − m )( y − m ) = R − m m i
X
i
Y
XY
X
Y
N i=1
ตัวอย่างในตารางข ้างล่าง
• ข ้อมูลจากชายไทย อายุระหว่าง 12 – 30 ปี
• X=อายุ และ Y=ส่วนสูง
No.(i) xi
yi No.(i) xi
yi
1
20
178
7
12
168
2
25
176
8
18
156
3
19
163
9
26
174
4
21
184
10
20
171
5
30
180
11
24
182
6
16
165
12
17
179
Scatter Diagram
Calculation Table
PDF ที่สําคัญ
P[X=x]
P[X<=x]
1.0
q
p
x
0
1
Binomial Distribution
n
n
n
!
n
C( ,
n k) = C = C =
=
k
k
k k (
! n − k)!
b(k;10,0.5)
b(k;10,0.2)
Geometric Distribution
P=0.5
P=0.2
Uniform Distribution
f(x)
1/(b-a)
a
b
x
Gaussian Distribution
Gaussian
Area = 1
Jointly Gaussian: X, Y
P = 0
Volumn = 1
P = 0.5
P = 0.9
P = 0.95
P = -0.99
Exponential Distribution
Exponential Distribution
A = 1
Area = 1
Poisson Distribution
Lambda = 1
Lambda = 3
Lambda = 5
Lambda = 8
Lambda = 12
Lambda = 18
• After Break Chapter 5 Random
Process
• เมื่อ Random Variable เป็น Function กับเวลา
– สัญญาณที่มีลักษณะ Random เช่น Noise
– การส่ง Packet ใน Network
– จํานวนรถที่วิ่งบนถนน
– จํานวนลูกค ้าที่เข ้ามาใช ้บริการ
• เหล่านี้ ในแต่ละเวลาหนึ่งๆ ค่าของมันจะมีลักษณะเป็น
Random คือมี PDF ตามแต่ชนิดของมัน
– ที่เวลาต่างกัน PDF อาจจะเปลี่ยน และค่าทางสถิติจะเปลี่ยนตาม
• Random Variable ที่เป็น Function (Random Function หรือ Analytic Function) กับเวลา เราเรียก Random Process หรือ Stochastic Process
– จาก RV X จะเป็น X(t)
– Mean และ Variance จะเป็น Function กับเวลาด ้วย
• การวิเคราะห์จะซับซ ้อนกว่า RV
Random Process
(Stochastic Process)
Statistical Average
2
2
2
σ → σ
( t)
X
X ( t )
Sample Function: Ensemble
Average and Time Average
Ensemble
X ( t)
X ( t )
X ( t )
2
1
ω ( t)
n
Time
ω ( t)
j
Average
1 ∫ ω t() dt
i
T
T
ω ( t)
i
ω ( t)
time
2
ω ( t)
1
t
Ensemble
Ensemble
Average
Average
X ( t),
2
σ ( t)
X
2
X ( t ,
) σ
2
X ( t ,
) σ
1
X ( t )
1
2
X ( t )
2
Statistical Average:
Correlation/Covariance
Stationary RP
2
2
2
σ
( t) → σ
= σ
X ( t )
X ( t )
X
Stationary RP
• Stationary RP
– Strict Sense Stationary (SSS)
• PDF ไม่เปลี่ยน ดังนั้นทุกๆ Moment
(Expectation) ไม่เปลี่ยน
• ปกติ SSS จะหาได ้ยากในทางปฎิบัติ บ่อยครั้งที่เรา
สนใจแค่สอง Moment แรก
– Wide Sense Stationary (WSS)
• เฉพาะ 2 Moment แรกคงที่ แต่ PDF อาจแปรผัน
– Mean
– Variance (Mean Square)
WIDE SENSE
STATIONARY
0
t2-t1 t1
t2
Autocorrelation(WSS)
R
( t , t ) = R ( t − t ) = R (τ ) XX
1
2
X
2
1
X
Peak=Power
Even
τ = t − t
2
1
• ถ ้า RP เป็น Ergodic
– Time Average = Ensemble Average
– Mean Ergodic
• หมายถึงค่าเฉลี่ยในทางเวลา 1 ∫ ω t() dt i เท่ากับ
ค่าเฉลี่ย(mean = E(X(t
T
T
i))) ของ Ensemble
– Correlation Ergodic
• หมายถึงค่า Variance ในทางเวลา 1 ∫ ( ω t() ω t 2
( )) dt
i
− i
T
T
เท่ากับค่า Variance ที่ได ้จาก Ensemble 2
σ X( t ) i
– เราใช ้ควบคู่กับ Concept ของ Stationary Random Process
Discrete-Time Random
Process
Discrete-Time Random
Process (Limited Samples)
Ergodic Discrete RP
• ถ ้า RP เป็น Ergodic ด ้วยค่า Mean (Average จาก Ensemble = Average จาก Time)
Ergodic Discrete RP
• ถ ้า RP เป็น Ergodic สําหรับ Coorelation
กรณีที่จําก ัด Sequence ความยาว N
จําก ัด Sequence ความยาว N
• ค่า Autocorrelation สําหรับ N Samples
– สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N
Point แต่จะเกิดการ Biased
N
1
R
( m) = lim
x( n) x( n
m)
XX
∑
+
N →∞ 2 N + 1 n=− N
N
1
R
( m) = lim
x( n) x( n
m)
XX
∑
+
N →∞ 2 N + 1 n=− N
X(n)
X(n+2)
X(n-3)
ความหมายของ x(n)x(n+m), N Points N
N m 1
R
( m = 1
)
x n x n
m
x n x n
m
XX
∑ ( ) ( + = 1
)
∑
− +
( ) ( +
)
N
N
n=0
n=0
X(n): n=0,1,…,9
X(n+3)
เราไม่ควรเฉลี่ยทั้ง N ตัว (Biased) แต่ควรเฉลี่ย N-m ตัว (non-Biased)
จําก ัด Sequence ความยาว N
• ค่า Autocorrelation สําหรับ N Samples
– สมการจะลดรูป เหลือแค่ Sum และเฉลี่ย N
Point แต่จะเกิดการ Biased เพราะเราเฉลี่ย
น ้อยกว่านั้น
Sequence ความยาว N / RAW
Sequence ท่ัวไป
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Example: Rxx
• x=[1 2 3]
Rxx(m)
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Example: Rxy
• x=[1 2 3], y=[4 5 6 7]
Rxy(m)
• Download HW 4: Probability
– ส่งต ้นชั่วโมงสัปดาห์หน้า